826. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. – М., 2013. – Ч. 2. – С.528-533.

О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности

А.И. Орлов, д.э.н., д.т.н., к.ф.-м.н., проф.
Московский государственный технический университет им. Н.Э. Баумана, директор Института высоких статистических технологий и эконометрики;
Московский физико-технический институт, профессор;
Группа авиакомпаний «Волга-Днепр», советник президента

Наука и научное обслуживание деятельность – крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в области управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В статье рассмотрены ошибки двух конкретных типов – связанные с принятием решений на основе числа публикаций в научных журналов и вытекающие из антинаучной классификации отраслей научной деятельности.

1. Вред упора на число публикаций в научных журналах

Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрии в 1960-х годах (сейчас чаще используют термин «наукометрика»). Приведем некоторые соображения в рамках научной школы В.В. Налимова. 
Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация – тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким сводным изданием стал сборник, подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области. 
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества. 
В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила – нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов». Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.
Аналогична ситуация с научным направлением «Экспертные оценки».
Следующий этап за публикацией в журнале или сборнике – выпуск монографии, подводящей итоги соответствующего этапа работ. Затем – создание учебника. Ясно, что на широкое использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов. 
Отметим, что ссылки на научные публикации даются не только при составлении статей, но и при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использование научной публикации.
Заключительный этап – знание становится общеизвестным. Например, в статьях отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей – акад. С.Н. Бернштейна и др., - которые предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода – на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов – используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка научных публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование. 
Обратите внимание – для развития нового направления публикация в научном журнале не нужна. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала.
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче. 
На основе сказанного выше весьма странными представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.
Напомним, еще более 40 лет назад В.В. Налимовым было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании. Много писали об этом и другие исследователи.
Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем путем перекрестных ссылок продолжаем «развитие» положений исходного набора статей. 
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются – статьи можно «печь как блины».
Развивая эти вполне естественные для современного «исследователя» мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина – «владельцы» журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки – упор на индексы цитирования – приводят к неправильным управленческим решениям (ср. с основными положениями статьи). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий – ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.
Еще один эффект - ссылки на работы, в которых получены принципиально новые результаты, будут «тонуть» среди ссылок на массы эпигонов. 
Проиллюстрируем последнее утверждение. В 1970-е годы автор настоящей статьи выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье. К сожалению, стандартный стиль изложения, принятый в этой статье, таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты.
В проблеме адекватного использования индексов цитирования есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент важно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, не все включены в системы учета цитирования, в отличие от аналогичных зарубежных изданий.
Сказанное объясняет, почему мы присоединяемся к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований.
Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов «Управление большими системами».

Нелепость сложившейся системе научных специальностей

Используемая в нашей стране система научных специальностей оказывает большое влияние на научную жизнь. В соответствии с ней построена система научных учреждений и журналов, присваиваются научные степени, и т.п. Покажем, что она нелепа, а потому требует существенной модернизации.
Часть наших работ относится к достаточно самостоятельной области – математическим методам анализа социологических данных. Основной интерес в ней – к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии – научной дисциплине, аналогичной математической экономике, математической физике и др.
Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей – социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.
Пример 1. Продолжает использоваться термин «физико-математические науки», хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин «экономико-математические методы и модели», очевидно, относящийся к применению математики в экономике. В то же время физика – одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин «физико-математические науки» не более обоснован, чем, например, термины «химико-математические науки» или даже «ветеринарно-социологические науки».
Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется «Числа». Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое). Следовательно, в США статистика воспринимается одной из «больших» наук: математика, физика, статистика, химия, биология… 
Если бы в России классификация наук соответствовала бы американской, то в составе РАН было бы Отделение статистических наук со своей системой научно-исследовательских учреждений (в частности, включающей Институт высоких статистических технологий и эконометрики), системой научных журналов, присуждались бы ученые степени по статистическим наукам и т.п. (подробнее см. проект обустройства статистических наук, разработанный в статье). 
Совсем не так обстоит дело в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 «Бухгалтерский учет, статистика», присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 «теория вероятностей и математическая дисциплина» (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки. 
Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: «Кибернетика». Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность «Дискретная математика и математическая кибернетика», при защите присуждается ученая степень по физико-математическим наукам).
Пример 4. Очевидно, что менеджмент (управление людьми) – более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе все совокупности социальных, технологических, экологических, экономических, политических факторов. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 «Экономика и управление народным хозяйством». При этом есть целый ряд технических специальностей, включающих в себя термин «управление», среди которых выделяется специальность 05.13.10 «Управление в социальных и экономических системах» (присуждаются ученые степени по техническим (!) наукам). 
Короче, наблюдаем:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статистика» верхнего уровня;
3) осколок кибернетики;
4) менеджмент внутри экономики, а не экономика внутри менеджмента.
Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации. 
Рассмотрим пример. К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 «Математические и инструментальные методы в экономике», а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.
К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции «Измерение в социологии» VI научно-практической конференции памяти первого декана факультета социологии А.О. Крыштановского «Современная социология — современной России» (1–3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: «В журнале «Социология-4М» нас заставили проверить значимость различия долей». К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе.
В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче – к математической социологии. Целесообразно в рамках социологической науки создать специальность «Математические и инструментальные методы в социологии», аналогичную экономической специальности «Математические и инструментальные методы в экономике». 
К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов. 
Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий и онлайн исследования). 
Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социологических исследований выпустил два сборника научных работ. На основе материалов Всесоюзной научной конференции «Проблемы применения математических методов в социологическом исследовании» издательство «Наука» опубликовала солидный сборник. Хотя прошло уже 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. (К сожалению, во многом потому, что их мало читают.) В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой «Числа» Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея.  
По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник 1985 г., подготовленный совместно академическим Институтом социологии и комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибернетика». В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике 2006 г., есть и специальный учебник по нечисловой статистике 2009 г., но сборник 1985 г. по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики.
После 1985 г. появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой и Г.Г. Татаровой. С 1991 г. выпускается журнал «Социология: методология, методы, математическое моделирование» (сокращенно «Социология-4М»). Развитию математических и статистических методов в российской социологии посвящены обзорные работы.
Казалось бы, математическая социология развивается нормально. Однако всё заметнее проявляются отрицательные тенденции. Подавляющее большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении в «Дискуссии о социологии» на сайте Российского общества социологов.